子图GNNS是最近表达的图形神经网络(GNN)的一类,它们将图形图形为子图的集合。到目前为止,可能的子图GNN体系结构的设计空间及其基本理论属性仍然在很大程度上尚未探索。在本文中,我们研究了子图方法的最突出形式,该方法采用了基于节点的子图选择策略,例如自我网络或节点标记和删除。我们解决了两个中心问题:(1)这些方法的表达能力的上限是什么? (2)在这些子图集上传递层的模棱两可的消息家族是什么?我们回答这些问题的第一步是一种新颖的对称分析,该分析表明,建模基于节点的子图集的对称性需要比以前的作品中所采用的对称组明显小。然后,该分析用于建立子图GNN和不变图网络(IGNS)之间的联系。我们通过首先通过3-WL来界定子图方法的表达能力,然后提出一个通用子图方法的一般家族,以将所有先前基于节点的子图GNN泛化。最后,我们设计了一个新颖的子图Gnn称为Sun,从理论上讲,该子gnn统一了以前的体系结构,同时在多个基准上提供了更好的经验性能。
translated by 谷歌翻译
最小化能量的动力系统在几何和物理学中无处不在。我们为GNN提出了一个梯度流框架,其中方程遵循可学习能量的最陡峭下降的方向。这种方法允许从多粒子的角度来解释GNN的演变,以通过对称“通道混合”矩阵的正和负特征值在特征空间中学习吸引力和排斥力。我们对溶液进行光谱分析,并得出结论,梯度流量图卷积模型可以诱导以图高频为主导的动力学,这对于异性数据集是理想的。我们还描述了对常见GNN体系结构的结构约束,从而将其解释为梯度流。我们进行了彻底的消融研究,以证实我们的理论分析,并在现实世界同质和异性数据集上显示了简单和轻量级模型的竞争性能。
translated by 谷歌翻译
可以将一组个人或组织之间的战略互动建模为在网络上玩的游戏,在网络上,玩家的回报不仅取决于他们的行动,还取决于邻居的行动。从观察到的游戏结果(平衡动作)中推断网络结构是一个重要的问题,对于经济学和社会科学中的许多潜在应用。现有方法主要需要与游戏相关的效用函数的知识,在现实世界中,这通常是不现实的。我们采用类似变压器的体系结构,该体系结构正确说明了问题的对称性,并在没有明确了解效用功能的情况下学习了从平衡动作到游戏网络结构的映射。我们使用合成和现实世界数据在三种不同类型的网络游戏上测试我们的方法,并证明其在网络结构推理中的有效性和优于现有方法的卓越性能。
translated by 谷歌翻译
对于大型小分子的大型库,在考虑一系列疾病模型,测定条件和剂量范围时,详尽的组合化学筛选变得不可行。深度学习模型已实现了硅的最终技术,以预测协同得分。但是,药物组合的数据库对协同剂有偏见,这些结果不一定会概括分布不足。我们采用了使用深度学习模型的顺序模型优化搜索来快速发现与癌细胞系相比的协同药物组合,而与详尽的评估相比,筛查要少得多。在仅3轮ML引导的体外实验(包括校准圆圈)之后,我们发现,对高度协同组合进行了查询的一组药物对。进行了另外两轮ML引导实验,以确保趋势的可重复性。值得注意的是,我们重新发现药物组合后来证实将在临床试验中研究。此外,我们发现仅使用结构信息生成的药物嵌入开始反映作用机理。
translated by 谷歌翻译
我们提出了图形耦合振荡器网络(GraphCon),这是一个新颖的图形学习框架。它基于普通微分方程(ODE)的二阶系统的离散化,该系统建模了非线性控制和阻尼振荡器网络,并通过基础图的邻接结构结合。我们的框架的灵活性允许作为耦合函数任何基本的GNN层(例如卷积或注意力),通过该函数,通过该函数通过该函数通过该函数通过该函数通过所提出的ODES的动力学来构建多层深神经网络。我们将GNN中通常遇到的过度厚度问题与基础ode的稳态稳定性联系起来,并表明零二核能能量稳态对于我们提出的ODE不稳定。这表明所提出的框架减轻了过度厚度的问题。此外,我们证明GraphCon减轻了爆炸和消失的梯度问题,以促进对多层GNN的训练。最后,我们证明我们的方法在各种基于图形的学习任务方面就最先进的方法提供了竞争性能。
translated by 谷歌翻译
大多数图形神经网络(GNNS)使用传递范例的消息,其中节点特征在输入图上传播。最近的作品指出,从远处节点流动的信息失真,作为限制依赖于长途交互的任务的消息的效率。这种现象称为“过度挤压”,已经启动到图形瓶颈,其中$ k $ -hop邻居的数量以$ k $迅速增长。我们在GNNS中提供了精确描述了GNNS中的过度挤压现象,并分析了它如何从图中的瓶颈引发。为此目的,我们介绍了一种新的基于边缘的组合曲率,并证明了负曲面负责过度挤压问题。我们还提出并通过实验测试了一种基于曲率的曲线图重新挖掘方法,以减轻过度挤压。
translated by 谷歌翻译
消息传递神经网络(MPNNS)是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是,有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络(ESAN)的新颖框架来解决这个问题。我们的主要观察是,虽然两个图可能无法通过MPNN可区分,但它们通常包含可区分的子图。因此,我们建议将每个图形作为由某些预定义策略导出的一组子图,并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman(1-WL)测试的新型变体,并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明,我们的方法增加了MPNNS和更具表现力的架构的表现力。此外,我们提供了理论结果,描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本,我们提出了一种子图采样方案,可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明,我们的框架提高了流行的GNN架构的表现力和整体性能。
translated by 谷歌翻译
我们可以使用机器学习来压缩图形数据吗?在图中没有排序对传统压缩算法构成了重大挑战,限制了其可达到的收益以及他们发现相关模式的能力。另一方面,大多数图表压缩方法依赖于域依赖的手工制作表示,并且无法适应不同的底层图分布。这项工作旨在建立必要的原则,无损图形压缩方法应遵循以接近熵储存下限。我们不是对图形分布进行僵化的假设,我们将压缩机作为概率模型制定,可以从数据学习并概括到看不见的实例。我们的“分区和代码”框架需要三个步骤:首先,分区算法将图形分解为子图,然后映射到我们学习概率分布的小词典的元素,最后,熵编码器转换了表示进入比特。所有组件(分区,字典和分发)都是参数化的,可以用梯度下降训练。理论上,从温和条件下理论上比较了几个图形编码的压缩质量,并证明了PNC实现了线性或二次以顶点的数量而产生的压缩增益。经验上,PNC对不同的现实网络产生了显着的压缩改进。
translated by 谷歌翻译
Deep learning has achieved a remarkable performance breakthrough in several fields, most notably in speech recognition, natural language processing, and computer vision. In particular, convolutional neural network (CNN) architectures currently produce state-of-the-art performance on a variety of image analysis tasks such as object detection and recognition. Most of deep learning research has so far focused on dealing with 1D, 2D, or 3D Euclideanstructured data such as acoustic signals, images, or videos. Recently, there has been an increasing interest in geometric deep learning, attempting to generalize deep learning methods to non-Euclidean structured data such as graphs and manifolds, with a variety of applications from the domains of network analysis, computational social science, or computer graphics. In this paper, we propose a unified framework allowing to generalize CNN architectures to non-Euclidean domains (graphs and manifolds) and learn local, stationary, and compositional task-specific features. We show that various non-Euclidean CNN methods previously proposed in the literature can be considered as particular instances of our framework. We test the proposed method on standard tasks from the realms of image-, graphand 3D shape analysis and show that it consistently outperforms previous approaches.
translated by 谷歌翻译